Equal Ranking Quality, Different Decisions: Training Order-Consistent LLM Scorers
相同排序质量下的决策分歧：训练顺序一致的 LLM 打分器
🧭 LLM 打分器顺序一致性训练 ★ 深度解读
Thomson Reuters Labs · University of Toronto · Vector Institute
提出 OC-SFT 顺序一致性训练，在不损失排序质量下显著提升 LLM 打分器在重排、QA、偏好选择中的决策稳定性
📌 工作参考价值（4 点）
- 线上使用 batched pointwise scoring 时，候选顺序会显著影响分数及下游决策（阈值截断、top-k 阅读、偏好对选择），不要只看 nDCG。推荐在训练阶段加入 OC-SFT 式一致性惩罚：对同一窗口做两次 shuffle，一个 view 做 relevance anchor，另一个 view 拉向 view-mean，MSE 惩罚学生自身 order variance。N=2 足够，推理时仍只需一次 permutation。
- 该方法可将 passage reranking 的 retained-set overlap 从单顺序蒸馏的 0.656 提升到 0.835，同时 nDCG@10 基本不变（0.459 vs 0.449）；在 multi-doc QA 上 answer flip 从 0.177 降至 0.125；在 response ranking 上 pair flip 从 0.869 降至 0.661。一个 OC-SFT permutation 的稳定性即可超过 10 次离线平均 permutation 的 batched self-consistency。
- 训练标签无需 order-averaged distillation 的 10 倍 teacher 计算，只需单个 teacher 顺序，节省离线成本。更强的 teacher 只提升质量不提升稳定性，说明稳定性收益来自 penalty 而非监督信号，可放心复用现有 teacher。
- 如果打分器服务决策场景（如广告过滤、商品精选、prompt 选择），应报告决策稳定性指标：保留集 Jaccard、答案翻转率、偏好对翻转率，而不只是 ranking quality。round-robin partition 可提升 nDCG@10（+0.052）但不能改善决策稳定性，logit calibration 也无效，所以需要从训练目标入手。